Ông tên thật là Nông Văn Phách; dân tộc Tày; quê xã Vĩnh Quang, huyện Hòa An, tỉnh Cao Bằng.

• Ông tham gia cách mạng năm 1941.
• Tháng 12 năm 1944, ông là chiến sĩ Đội Việt Nam Tuyên truyền Giải phóng quân.
• Năm 1945, ông gia nhập Đảng Cộng sản Đông Dương.
• Tháng 8 năm 1945, ông là Ủy viên Quân sự tỉnh Thái Nguyên.
• Từ năm 1946 đến năm 1954, ông làm Trung đoàn phó rồi Trung đoàn trưởng, Tham mưu trưởng Đại đoàn 316.
• Từ năm 1955 đến năm 1964, ông làm Khu phó Khu Tây Bắc, Phó Tư lệnh] kiêm Tham mưu trưởng rồi Tư lệnh Quân khu Tây Bắc.
• Tháng 4 năm 1970, ông làm Tư lệnh Quân tình nguyện Việt Nam ở Lào.
• Từ năm 1970 đến năm 1974, ông làm Tư lệnh các mặt trận: 316 và 31 (Thượng Lào).
• Từ tháng 6 năm 1974 đến năm 1976, ông làm Tư lệnh Quân khu Tây Bắc.
• Năm 1976, ông làm Trưởng ban Ban Dân tộc Trung ương và Chủ nhiệm Ủy ban Dân tộc Chính phủ.
• Từ năm 1979 đến năm 1981, ông làm Tư lệnh kiêm Chính ủy Quân khu 2.
• Từ năm 1978 đến năm 1987, ông là Tư lệnh Quân khu 2.

Ông là Ủy viên Ban Chấp hành Trung ương Đảng Cộng sản Việt Nam từ khóa IV đến khóa VI, đại biểu Quốc hội Việt Nam từ khóa VI đến khóa VIII.

Ông thụ phong quân hàm Thiếu tướng năm 1974; Trung tướng năm 1980, Thượng tướng năm 1984.